期刊
  出版年
  关键词
结果中检索 Open Search
Please wait a minute...
选择: 显示/隐藏图片
1. 基于自适应学习率优化的AdaNet改进
刘然, 刘宇, 顾进广
计算机应用    2020, 40 (10): 2804-2810.   DOI: 10.11772/j.issn.1001-9081.2020020237
摘要313)      PDF (1134KB)(559)    收藏
人工神经网络的自适应结构学习(AdaNet)是基于Boosting集成学习的神经结构搜索框架,可通过集成子网创建高质量的模型。现有的AdaNet所产生的子网之间的差异性不显著,因而限制了集成学习中泛化误差的降低。在AdaNet设置子网网络权重和集成子网的两个步骤中,使用Adagrad、RMSProp、Adam、RAdam等自适应学习率方法来改进现有AdaNet中的优化算法。改进后的优化算法能够为不同维度参数提供不同程度的学习率缩放,得到更分散的权重分布,以增加AdaNet产生子网的多样性,从而降低集成学习的泛化误差。实验结果表明,在MNIST(Mixed National Institute of Standards and Technology database)、Fashion-MNIST、带高斯噪声的Fashion-MNIST这三个数据集上,改进后的优化算法能提升AdaNet的搜索速度,而且该方法产生的更加多样性的子网能提升集成模型的性能。在 F1值这一评估模型性能的指标上,改进后的方法相较于原方法,在三种数据集上的最大提升幅度分别为0.28%、1.05%和1.10%。
参考文献 | 相关文章 | 多维度评价
2. 基于注意力机制的双向长短时记忆网络模型突发事件演化关系抽取
闻畅, 刘宇, 顾进广
计算机应用    2019, 39 (6): 1646-1651.   DOI: 10.11772/j.issn.1001-9081.2018122533
摘要387)      PDF (973KB)(365)    收藏
针对现有突发事件关系抽取研究多集中于因果关系抽取而忽略了其他演化关系的问题,为了提高应急决策中信息抽取的完备性,应用一种基于注意力机制的双向长短时记忆(LSTM)网络模型进行突发事件演化关系抽取。首先,结合突发事件演化关系的概念,构建演化关系模型并进行形式化定义,依据模型对突发事件语料进行标注;其次,搭建双向LSTM网络结构,并引入注意力机制计算注意力概率以突出关键词汇在文本中的重要程度;最终,使用搭建的网络模型进行演化关系抽取得到结果。在演化关系抽取实验中,相对于现有因果关系抽取方法,所提方法不仅抽取出更加充分的演化关系,为突发事件应急决策提供了更完善的信息;同时,在正确率、召回率和F1分数上分别平均提升了7.3%、6.7%和7.0%,有效提高了突发事件演化关系抽取的准确性。
参考文献 | 相关文章 | 多维度评价